http://www.arocmag.com/article/02-2019-01-038.html 


基于 卷 积 神经 网 络 的 图 像 隐 与 分 析 方 法 


A A e., BELA ee, 刘 佳 *?， 刘 明明 *? 
(武警 工程 大 学 a 网 络 与 信息 安全 武警 部 队 重点 Gb. 电子 技术 系 ,西安 710086) 


摘 要 : 为 了 提高 卷 积 神经 网 络 (CNN) 在 图 像 隐 写 分 析 领 域 的 分 类 效果 ， 构 建 了 一 个 新 的 卷 积 神 经 网 络 模型 
(steganalysis-convolutional neural networks, S-CNN) 进行 隐 写 分 析 。 该 模型 采用 两 层 卷 积 层 和 两 层 全 连接 层 ， 减 少 了 
卷 积 层 的 层 数 ; 通过 在 激活 函数 前 增加 批量 正规 化 层 对 模型 进行 优化 ， 避 和 免 了 模型 在 训练 过 程 中 陷入 过 拟 合 ; 取消 池 
化 层 ， 减 少 衣 入 信息 的 损失 ， 从 而 提高 模型 的 分 类 效果 。 实 验 结果 表明 ， 相 比 传统 的 图 像 隐 写 分 析 方 法 ， 该 模型 减少 
了 隐 写 分 析 步 又， 并 且 具 有 较 高 的 隐 写 分 析 准 确 率 。 
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Image steganalysis based on convolution neural network 
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Abstract: In order to improve the recognition effect of convolutional neural networks(CNN) in image steganalysis, this paper 
constructed a new steganalysis-convolutional neural networks model (S-CNN) for steganalysis. The model reduced the number 
of layers of the convolution layer by using two layers of convolution layer and two layers of the whole connection layer. By 
adding the batch normalization layer to optimize the model before the activation function, to avoid the model in the training 
process into the over-fitting. The cancellation of the pool layer reduced the loss of embedded information, thereby improving 
the classification effect of the mode. The experimental results show that, compared with the traditional steganalysis methods, 
the proposed model reduces the steganalysis step and has higher steganalysis accuracy. 
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率 仅仅 比 空域 富 模型 《SRM) [i+ 集成 分 类 器 EC) PUR 39033] 
4%。 这 个 结果 对 于 图 像 隐 写 分 析 来 说 是 一 个 巨大 的 进步 。 2016 
前 ， 图 像 隐 写 分 析 成 为 信息 安全 领域 研究 热点 (312 年 5 H, Guanshuo Xu 等 人 提出 了 一 个 五 层 的 CNN 模型 ， 该 模 
传统 的 图 像 隐 写 分 析 方 法 分 为 两 步 : 一 是 特征 提取 ， 例 如 小 波 ”型 在 第 一 个 卷 积 层 后 加 入 了 一 个 绝对 值 层 CABSO 来 增强 网 络 
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直方 图 特征 、 马 尔 科 夫 特征 、 离 散 余 弦 变 换 系数 的 共生 和 矩阵 特 。 后边 卷 积 层 的 学 习 能 力 。 为 了 避免 过 拟 合 ， 他 们 在 前 几 层 约束 
征 B4。 二 是 特征 分 类 ， 例 如 Fisher 算法 、 支 持 向 量 机 59。 由 于 了 数据 的 范围 并 且 在 更 深层 次 采用 大 小 1X1 的 卷 积 核 。 在 透 
传统 的 方法 可 靠 性 低 或 者 是 训练 过 程 非常 耗 时 ， 会 对 隐 写 分 析 视 场 景 下 ， 对 S-UNIWARD 隐 写 算法 的 检测 i 0 
效率 造成 不 利 影响 。 80.24%00。 这 些 结果 都 表明 了 CNN 在 图 像 隐 写 分 析 领 域 具 有 
近 几 年 ， 随 着 深度 学 习 在 图 像 分 类 领域 优异 的 表现 ， 越 来 ” 巨大 的 潜力 。 

越 多 的 研究 者 将 深度 学 习 应 用 在 自己 的 领域 .2015 4E, Qian 等 为 了 提高 图 像 隐 写 分 析 的 正确 率 和 可 靠 性 ， 本 文 构建 了 一 
人 使 用 深度 学 习 来 代替 传统 的 两 步 机 器 学 习 进行 隐 写 分 析 中 I， 个 两 层 的 CNN 模型 进行 图 像 隐 写 分 析 。 实 验 结果 表明 ， 相 对 
提出 了 五 层 的 CNN 模型 ， 该 模型 使 用 高 通 滤波 器 (HPF) 进行 “于 Guanshuo Xu 等 人 的 CNN 模型 ， 本 文 模型 


进行 图 像 隐 写 分 


卷 积 预 处 理 ， 激 活 函 数 采用 Gaussian 非 线 性 函数 ， 池 化 层 使 用 。 析 的 检测 准确 率 提 高 了 8.68%。 
的 是 平均 池 化 。 通 过 在 BOSSbase 数据 集 上 测试 ， 获 得 的 准确 
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PF 层 ) 进入 卷 积 模块 ， 在 卷 积 模块 中 进行 卷 积 运算 提 
特征 ， 最 后 经 过 输出 模块 输出 该 图 像 所 属 类 别 的 概率 ， 完 成 
Guanshuo Xu 等 人 构建 的 模型 由 五 组 卷 积 模块 组 成 ， 如 图 分 类 。 
1 所 示 ， 其 中 流程 图 框 内 的 算式 为 :〈 卷 积 核 个 数 ) X〈 卷 积 核 
的 高 X 卷 积 核 的 宽 X 输 入 特征 图 数 )， 框 下 方 的 算式 为 :特征 
图 数 ) Xx (图 像 的 高 X 图 像 的 宽 ), 卷 积 层 和 池 化 层 以 及 HPF 层 
都 使 用 了 填充 。 该 模型 每 组 卷 积 模块 由 卷 积 层 提取 特征 开始 ， 
到 平均 池 化 层 结束 (第 五 组 为 全 局 池 化 )。 第 1 组 和 第 2 组 的 激 
活 函 数 采用 的 是 TanH 激活 函数 ， 其 余 的 为 ReLU 激活 函数 。 
为 了 约束 数据 的 范围 ， 在 第 一 组 卷 积 模块 采用 了 绝对 值 层 
CABS)。 为 了 避免 CNN 训练 陷入 局 部 最 优化 ， 在 每 个 激活 函 
数 层 加 入 了 批量 正规 化 层 (Batch Normalization Layer, 简称 BN 


1 五 层 CNN 框架 


| 
B 
E 


J2 本文 构 建 的 S-CNN 模型 


屋 )。 输 出 层 包括 一 层 全 连接 层 和 一 层 损失 函数 层 。 该 模型 在 对 于 图 像 隐 写 分 析 , 进入 网 络 的 图 像 首先 经 过 HPF 预 处 理 ， 
BOSSBass 数据 库 上 检测 S-UNIWARD WAOE WEZA] HPF 层 可 以 加 快 CNN 模型 的 收敛 速度 。HPF 层 是 一 种 特殊 的 
80.24%. 卷 积 层 , HPF 层 的 卷 积 核 大 小 为 5x5, 权重 初始 值 为 F。 通过 设 


L HPF 层 的 学 习 率 参数 为 0 使 得 权重 下 固定 不 随 着 训练 更 新 。 
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卷 积 模块 由 卷 积 层 ， 激 活 函数 层 组 成 。 卷 积 层 通过 卷 积 计 
算 从 而 提取 出 原始 图 像 的 不 同 特征 。 原 始 图 像 都 存在 局 部 稳定 
性 ， 卷 积 层 把 各 区 域 的 特征 综合 起 来 就 可 以 得 到 整 幅 图 像 的 特 
征 。 卷 积 层 由 多 个 卷 积 核 组 成 ， 每 个 卷 积 核 是 一 个 权 值 矩阵 ， 
卷 积 核 越 多 提取 的 特征 就 越 多 。 如 图 2， 经 过 HPF 过 滤 后 的 
组 像 与 卷 积 核 进 行 矩 阵 运 算 ， 提 取出 输入 图 像 的 不 同 特征 ， 每 个 
卷 积 核 产生 一 个 特征 图 ， 该 特征 图 作为 激活 函数 层 的 输入 ， 激 
活 函 数 的 使 用 打破 了 在 卷 积 过 程 中 进行 线性 滤波 的 线性 特性 。 
图 像 隐 写 是 对 载体 图 像 中 嵌入 噪声 ， 图 像 隐 写 分 析 是 识别 图 像 
中 的 噪声 ， 池 化 层 会 弱化 这 种 噪声 ， 对 分 类 效果 产生 消极 的 影 
响 。 因 此 ， 本 文 取消 了 池 化 层 。 

经 过 两 组 卷 积 模块 后 ， 特 征 图 进入 输出 模块 。 输 出 模块 包 
括 两 层 全 连接 层 和 损失 函数 层 。 全 连接 层 中 的 每 个 神经 元 都 与 
其 前 一 层 的 所 有 神经 元 连接 。 全 连接 层 可 以 整合 卷 积 层 或 者 取 
样 层 中 具有 类 别 区 分 型 的 局 部 信息 上。 为 了 提升 CNN 网 络 性 
能 ， 全 连接 层 的 每 个 神经 元 的 激活 函数 采用 了 ReLU 函数 。 
失 函 数 层 的 损失 函数 采用 的 是 softmax 函数 ， 对 于 具体 的 分 类 
问题 ， 选 择 合 适 的 损失 函数 至 关 重 要 。 最 后 由 softmax 层 完 成 
分 类 。 
2.1 激活 函数 

激活 函数 的 选择 是 构建 CNN 过 程 中 的 重要 环节 。 本 文 构 
建 的 CNN 模型 的 激活 函数 为 ReLU 函数 ， 并 通过 实验 对 比 了 
基于 Guanshuo Xu 等 人 的 研究 , 本 文 构建 了 一 个 新 的 CNN TanH 函数 和 ReLU 函数 对 分 类 效果 的 影响 。 图 3 中 实 线 为 ReLU 
模型 进行 图 像 隐 写 分 析 ， 如 图 2 所 示 ， 整个 S$-CNN 框架 分 为 线 , 虚线 为 TanH 曲线 , 从 图 中 可 以 看 出 使 用 ReLU 函数 时 ， 
输入 模块 ， 卷 积 模块 和 输出 模块 。 首 先 ， 原 始 图 像 经 过 高 通 滤 ”函数 的 输出 不 会 随 着 输入 的 增加 而 趋 于 饱和 。 相 比 饱 和 非 线 性 
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图 1 Guanshuo Xu 等 人 构建 的 CNN 模型 


2 S-CNN 框架 
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函数 ， 非 饱和 非 线性 函数 能 够 解决 梯度 爆炸 /梯度 消失 问题 ， 同 
时 也 能 加 快 收敛 速度 N24。 为 了 计算 反 向 传播 回来 的 误差 ， 激活 
函数 必须 可 导 。 
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图 3 ReLU 与 TanH 函数 曲线 图 


2.2 批量 正规 化 

对 于 神经 网 络 来 说 ， 网 络 的 训练 是 一 个 复杂 的 过 程 ， 除 了 
输入 层 的 数据 外 ， 随 着 网 络 参数 的 更 新 ， 后 面 每 一 层 网 络 的 输 
入 数据 分 布 始终 在 发 生 着 变化 ， 这 种 变化 会 在 网 络 中 累计 放大 
下 去 ， 导 致 网 络 需 要 重新 学 习 新 的 数据 分 布 ， 进 而 影响 网 络 的 
训练 速度 , 这 种 数据 分 布 的 改变 , 一 般 称 之 为 “Interal Covariate 
Shift”[13。 另 一 方面 ， 神 经 网 络 学 习 过 程 的 本 质 就 是 学 习 数 据 
分 布 ， 一 旦 训练 数据 与 测试 数据 的 分 布 不 同 ， 那 么 网 络 的 泛 化 
能 力也 大 大 降低 。 为 了 提高 训练 效率 和 识别 效果 ， 本 文 在 激活 
函数 前 添加 批量 正规 化 层 (BN 层 )。BN 算法 分 为 两 步 : 第 一 
步 是 在 每 一 层 的 输入 前 进行 归 一 化 处 理 ， 将 上 一 层 的 输出 数据 
归 一 化 至 : 均值 为 0、 方 差 为 1。 其 公式 表达 如 下 : 

x E[x^] 


Hop: KRAUS xO 表示 第 K 层 网 络 中 BN 层 的 输 


入 图 像 。 注 意 : E[x^ | 为 训练 中 每 一 批 次 Cmini-batch) 的 图 像 


的 平均 值 ， Var| x^ | 为 训练 中 每 一 批 次 (mini-batch〉 的 方差 ， 


而 不 是 全 体 数 据 集 。 第 一 步 的 归 一 化 会 破坏 上 一 层 网 络 学 到 的 
特征 , 为 了 恢复 上 一 层 网 络 所 学 习 的 特征 , BN 算法 第 二 步 是 进 
行 变换 重 构 。 其 公式 表达 如 下 : 


y =y 330.4 p 
其 中 : 


y 为 BN 层 的 输出 图 像 ，y、B 为 可 学 习 的 参数 ， 当 
y = JVar| x" ] ， p' -E[x^ | 时 ， 便 可 恢复 上 一 层 网 络 所 学 习 


到 的 特征 。 通 过 变换 重 构 ， 特 征 图 的 空间 关系 得 以 保存 。 
23 ”模型 分 析 

相 比 Guanshuo Xu 等 人 的 模型 ， 本 文 构建 的 S-CNN 减少 
了 CNN 的 层 数 ， 增 加 了 卷 积 层 的 卷 积 核 的 个 数 ， 从 而 使 得 网 


络 提取 到 更 多 的 特征 。 池 化 层 可 以 减少 网 络 的 计算 量 ， 取 消 池 
化 层 会 增加 内 存 消耗 ， 但 是 池 化 层 会 导致 信息 的 损失 ， 不 利于 
隐 写 分 析 ， 综 合 考虑 ， 本 文 取消 了 池 化 层 。 本 文 的 激活 函数 全 
部 为 ReLU 激活 函数 ， 在 实验 中 也 证 明了 激活 函数 全 为 ReLU 
函数 的 识别 效果 好 于 第 一 层 为 TanH 函数 和 第 二 层 为 ReLU Hf 
数 。 另 外 ， 本 文 构建 的 模型 全 连接 层 为 两 层 ， 这 也 是 识别 效果 
有 所 提升 的 原因 之 一 。BN 层 的 使 用 避免 了 模型 在 训练 过 程 中 
陷入 局 部 最 优化 , 并 且 提 高 了 识别 准确 率 , 因此 , 本 文 的 S-CNN 
模型 在 卷 积 层 之 后 使 用 了 BN 层 。 
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3.1 数据 集 以 及 实验 平台 

实验 中 的 数据 集 采 用 的 是 BOSSbaseV1.01。 该 数据 集中 含 
有 10 000 张 分 辩 率 为 512X512 的 pgm 格式 的 灰 度 图 像 ， 是 目 
前 进行 图 像 隐 写 分 析 研 究 的 最 为 常用 的 数据 集 。 由 于 GPU w 
存 的 限制 ， 在 实验 中 利用 Photoshop 的 批 命令 将 数据 集中 的 灰 
度 图 像 裁剪 至 大 小 为 128X128 的 图 像 ， 并 随机 取 其 中 的 40 000 
张 作 为 载体 图 像 。 用 S-UNIWARD BA $5356 BU E dt (7 6c 
入 ， 嵌 入 率 为 0.4 bpp。 本 文 将 30 000 张 载体 图 像 和 30 000 张 
隐 写 图 像 作为 训练 样本 。10 000 张 载体 图 像 和 10 000 张 隐 写 图 
像 作为 测试 样本 。 实 验 是 在 windows 下 用 开源 的 深度 学 习 框 架 
caffe 实现 的 。 
32 ”实验 过 程 

根据 caffe 平台 的 要 求 ， 实 验 中 先 将 数据 集 转换 为 leveldb 


格式 ， 并 计算 样本 的 均值 。 在 网 络 结构 文件 中 搭建 CNN 进行 
训练 ， 并 且 保 存 训练 日 志 用 于 性 能 分 析 。 为 了 提高 CNN 网 络 
的 训练 效率 ， 在 图 像 预 处 理 阶段 对 原始 图 像 进行 归 一 化 处 理 。 


每 张 原始 图 像 都 减 去 图 像 集 的 均值 可 以 极 大 的 减 小 计算 机 计算 
资源 消耗 ， 加 快 训练 速度 。 移 除 drop out、L2 正则 项 参数 ， 提 
高 网 络 模型 的 泛 化 能 力 031。BN 层 的 使 用 可 以 使 得 模型 选择 较 
大 的 学 习 效 率 ， 从 而 大 大 加 快 模型 收敛 速度 ， 在 相同 的 学 习 效 
率 情况 下 , BN 层 的 使 用 也 可 以 减少 训练 所 需要 的 时 间 , 加 快 模 
型 的 收 伍 速度 。 为 了 提高 识别 准确 率 ， 打 乱 了 数据 集中 的 原始 
图 片 顺序 ， 防 止 原始 图 像 集中 的 某 一 图 像 被 多 次 调用 。 
3.3 ”实验 参数 

Caffe 提供 六 种 优化 算法 , 在 实验 中 本 文选 择 的 是 随机 梯度 
下 降 算法 (SGD)。 基 础 学 习 率 (base lr) 为 0.01， 上 一 次 更 新 
的 权重 (momentum ) 为 0.9, 权 值 衰减 (weight_decay ) 为 0.004。 
学 习 率 策略 (lr. policy) 选择 的 是 ”inv”, 学 习 率 会 随 着 迭代 次 数 
的 增加 而 减 小 , 避免 了 手动 调整 学 习 率 参数 。 由 于 显存 的 限制 ， 
训练 时 每 一 批 次 Cbatch size) 为 64。 最 大 迭代 次 数 为 5000， 为 
了 更 好 的 评估 CNN 模型 的 性 能 , 每 迭代 300 次 进行 一 次 测试 ， 
EWR 16 次 。 对 于 HPF 层 ， 学 习 率 (Or milt) 设 为 0, 使 其 参 
数 固定 不 更 新 。 
3.4 实验 结果 

相 比 传统 的 CNN 隐 写 分 析 方法 ，S-CNN 模型 减少 了 网 络 
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的 层 数 ， 简 化 了 网 络 结构 ， 从 而 加 快 了 模型 的 训练 效率 ， 同 时 ” 敛 速 度 ， 表 4 为 本 文 最 优 模型 训练 迭代 5 000 次 时 有 无 HPF 层 
又 提高 了 模型 的 识别 准确 率 。 在 相同 的 实验 设备 下 ， 各 模型 的 的 损失 值 和 准确 率 。 
训练 所 需 时 间 以 及 识别 准确 率 如 表 1 所 示 。 X4 有 无 HPF 层 的 损失 值 (loss) 和 准确 率 
表 1 各 模型 训练 时 间 以 及 识别 准确 率 模型 损失 值 ”准确 率 
模型 训练 时 间 Cho ”准确 率 有 HPF 层 0.0148 0.8892 
Tan 等 人 的 3 层 CNN 模型 2.7 6996 无 HPF 层 64572 0.5012 
Qian 等 人 的 5 J£ CNN 模型 " 3.5 76.19% 
Xu 等 人 的 5 层 CNN 模型 00 32 8024 损失 值 (loss) 反映 的 估计 值 和 真实 值 之 间 的 误差 , 代表 着 
S-CNN 模型 2 88.9294 模型 的 拟 合 程度 。 图 5 为 本 文 构建 的 模型 训练 过 程 中 的 loss 值 


变化 情况 。 随 着 迭代 次 数 的 增加 ，loss 值 呈 递减 趋势 并 趋 于 稳 
相 比 传统 的 两 步 机 器 学 习 隐 写 分 析 法 (RM+EC)，S-CNN 证。 


模型 对 S-UNIWARD 隐 写 算法 的 检测 效果 也 有 了 较 大 的 提升 。 
实验 结果 如 表 2 所 示 。 18 
3x2 各 模型 识别 准确 率 对 比 结 

模型 。 ”准确 率 B 

RM+EC 79.53% 号 1 

S-CNN Hi — 88.9296 "os 

0.6 

根据 GPU 的 性 能 , 综合 训练 时 间 和 识别 准确 率 的 考虑 , 本 

文 测试 了 五 类 卷 积 核 大 小 不 同 的 CNN 网 络 ， 结 果 取 16 次 测试 


结果 的 平均 值 。 为 了 验证 BN 层 对 识别 准确 率 的 影响 ， 本 文 还 o — 100 2000 S300 4000 5000 


ARRA 
进行 了 有 无 BN 层 的 对 比 实验 ， 结 果 证 明 BN 层 可 以 有 效 提高 
e MER dd i TREE 5 ”训练 过 程 中 的 损失 值 变化 情况 


D 


CNN 模型 的 识别 效果 ， 如 表 3 所 示 。 
383 不 同 卷 积 核 大 小 的 CNN 的 识别 准确 率 前 生成 对 抗 网 络 (GAN) 在 图 像 隐 写 分 析 领 域 的 研究 已 
— e 成 为 当前 的 热点 之 一 .GAN 通过 生成 网 络 和 判别 网 络 互相 博弈， 
ORE Ri quss 从 而 达到 一 种 平衡 。Denis 等 人 ua 提出 的 DCGAN 模型 的 中 的 
25 pen - m 分 类 器 识别 准确 率 如 表 5 所 示 。 
6x6 4X4 0.8534 0.864 表 5 DCGAN 与 SCNN 的 识别 准确 率 对 比 
5X5 3X3 0.8539 0.8652 模型 准确 率 
4X4 2X2 0.8608 0.8724 GAN (相同 种 子 ) 0.982 
3X3 1X1 0.8773 0.8892 GAN (随机 种 子 ) 0.649 
S-CNN 0.8892 
本 文 还 对 激活 函数 的 选择 做 了 对 比 实验 ， 实 验 结果 表明 ， 
激活 函数 全 部 选择 ReLU 函数 的 效果 优 于 第 一 层 选择 TanH 函 从 表 中 可 以 看 出 ， 当 生成 网 络 的 种 子 相同 时 ， 识 别 效果 优 
数 和 第 二 层 ReLU 函数 。 结 果 如 图 4 所 示 。 于 S-CNN 模型 , 但 生成 的 图 像 不 利于 图 像 隐 写 。 当 生成 网 络 的 
mm uu 种 子 随机 时 ， 识 别 效果 降低 ， 远 低 于 S-CNN 模型 。 但 对 于 图 像 
站 隐 写 来 说 可 以 产生 更 好 的 载体 图 像 。 
B.. 4 ”结束 语 
TL Vu 实验 结果 表明 ， 深 度 学 习 是 一 种 非常 有 前 景 的 图 像 隐 写 分 
. W^ E^ 析 工 具 , 相 比 传统 的 图 像 隐 写 分 析 工具 , 避免 了 人 工 提 取 特 征 ， 
om | | 大 大 提高 了 图 像 隐 写 分 析 的 效率 ， 并 且 有 效 提高 了 隐 写 分 析 的 
E — — — —R — 准确 率 。 目 前 ，CNN 只 能 对 简单 的 隐 写 算法 进行 测试 ， 当 算法 
| BARRERAE, DAARS ARTE ESELEE 
图 4 不同 激 活 函 数 的 模型 的 识别 准确 率 


绕 着 增强 CNN 隐 写 分 析 的 通用 性 进行 。 


对 于 图 像 隐 写 分 析 领 域 ，HPF 层 可 以 极 大 的 提高 模型 的 收 
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